Ông gia nhập Đảng Cộng sản Việt Nam vào ngày 29/10/1985.[2]

Từ ngày 6 tháng 8 năm 2008, Nguyễn Sơn được bổ nhiệm giữ chức vụ Chánh án Tòa án nhân dân thành phố Hà Nội vừa mới được mở rộng (sáp nhập tỉnh Hà Tây (6 Phó chánh án là Nguyễn Minh, Ngô Thị Minh Ngọc, Tạ Quốc Hùng, Nguyễn Thị Xuân Phương, Ngô Hồng Phúc, Đào Sỹ Hùng).[3]

Năm 2011, ông là Ủy viên Ban cán sự Đảng Tòa án nhân dân tối cao, Thẩm phán, Phó Chánh án TAND tối cao, Ủy viên Ủy ban Tư pháp của Quốc hội.[2]

Ngày 26 tháng 6 năm 2015, Quốc hội Việt Nam khóa 13 đã bỏ phiếu phê chuẩn đề nghị của Chánh án Tòa án nhân dân tối cao Trương Hòa Bình về việc bổ nhiệm ông làm Thẩm phán Tòa án nhân dân tối cao, với tỉ lệ đại biểu Quốc hội bỏ phiếu đồng ý phê chuẩn là 90,69% (469 phiếu hợp lệ - 3 phiếu không hợp lệ; 448 phiếu đồng ý – 21 phiếu không đồng ý[4]).[5] Lúc này ông đang là Phó Bí thư Ban Cán sự Đảng, Phó Chánh án Tòa án nhân dân tối cao, Đại biểu Quốc hội khóa 13.[1]

Nguyễn Sơn đã nghỉ hưu.[6]